Herr Professor Metzinger, gemeinsam mit Ihren Koautoren warnen Sie vor einem "KI-Wettrüsten" – wer rüstet da und wozu?

Thomas Metzinger: Das können wissenschaftliche Forschungsteams, Großkonzerne oder ganze Länder sein. Weil fortgeschrittene künstliche Intelligenz in den verschiedensten Anwendungsbereichen Gewinn bringend eingesetzt werden kann, bestehen für Firmen wirtschaftliche Anreize, die Technologie möglichst schnell voranzutreiben. Zusätzlich zu wirtschaftlichen Interessen können auch militärische, geheimdienstliche oder politische Interessen eine Rolle spielen.

Wohin führt derlei Wettrüsten?

Die Worst-Case-Szenarien könnten prinzipiell sogar das Ende der menschlichen Zivilisation beinhalten. Normalerweise bestehen ja bereits im Vorfeld strukturelle Anreize dafür, dass riskante Technologien entwickelt und auf den Markt gebracht werden. Wenn so ein Projekt dann schiefgeht und der Schaden in einem noch überschaubaren Rahmen liegt, dann werden die verantwortlichen, fahrlässig handelnden Akteure in der Regel zur Rechenschaft gezogen. Tepco beispielsweise, das japanische Unternehmen hinter dem Fukushima-Atomkraftwerk, musste riesige Schadenszahlungen leisten. Im Moment beginnen sich viele Experten zu fragen, ob es einmal so etwas wie ein "Fukushima der künstlichen Intelligenz" geben könnte – und ob man ein solches Risiko überhaupt "versichern" könnte.

Und – könnte man?

Wenn die Risiken einer neuen Technologie existenzieller Natur sind, dann tragen Schadenszahlungen im Nachhinein keine zusätzliche abschreckende Wirkung mehr bei. Es ist wie bei der Umweltpolitik: Das Risiko einer globalen Katastrophe betrifft am Ende alle Menschen, aber der mögliche wirtschaftliche Gewinn geht weit gehend an diejenige Partei, die zuerst den Durchbruch im Markt schafft. Diese Anreizstruktur ist hochgefährlich, weil Parteien, die primär auf den Eigenprofit fokussiert sind, dazu neigen, ihre Risiken systematisch auf den Rest der Menschheit abzuwälzen.

Ihr Papier behandelt Sicherheitsfragen explizit. So gebe es ein Risiko unerwarteter Katastrophenfälle. An welche Szenarien denken Sie hier?

In erster Linie natürlich an militärische Applikationen. Je besser die Systeme werden, desto mehr Handlungsautonomie werden die Menschen an sie abgeben müssen. Ein Hauptgrund dafür ist die Tatsache, dass die Übertragungs-, Erkennungs- und Reaktionszeiten intelligenter Waffensysteme immer schneller werden. Diesen Geschwindigkeitsvorteil würde man wieder aus der Hand geben, wenn sich zum Beispiel Schwärme von Kampfrobotern zu oft bei ihren menschlichen Bedienern "rückversichern" müssten. Wenn Sie sich jetzt noch das eben erwähnte Wettrüsten zwischen verschiedenen Staaten und Militärapparaten hinzudenken, dann entsteht ein Anreiz zum Eingehen hoher Risiken.

Im Moment beginnen sich viele Experten zu fragen, ob es einmal so etwas wie ein "Fukushima der künstlichen Intelligenz" geben könnte.

Können Sie konkreter werden?

Es gibt konkrete Risiken, die heute bereits klar benennbar sind, deren Eintrittswahrscheinlichkeit aber weiter in der Zukunft liegt. Ich kann mir zum Beispiel gut denken, dass eine autonome KI sich von ihrem lokalen Rechner löst und beginnt, sich frei im Netz zu bewegen – etwa so wie ein großer, intelligent gewordener Virus, der sich nicht mehr beherrschen lässt. Sie könnte unentdeckte Sicherheitskopien von sich selbst anfertigen, sich selbst an immer neuen Orten reaktivieren und sich und ihre eigenen Ziele dadurch sozusagen globalisieren. Das wäre dann ähnlich wie ein Krankheitskeim bei einer Epidemie – nur dass dieser Keim intelligent wäre und viele Informationsquellen direkt im Internet anzapfen und für seine eigenen Ziele nutzen könnte. Der in Oxford lehrende Philosoph Nick Bostrom hat auf das Risiko hingewiesen, dass wir unabsichtlich ein "Singleton" erzeugen: eine einzige, unkontrolliert handelnde künstliche Intelligenz, die dem Menschen und anderen intelligenten Agenten in jederlei Hinsicht überlegen ist und die einseitig auch politische Entscheidungsrichtlinien festlegen kann.

Dann wäre diese Super-KI uns auch in ethischer Hinsicht überlegen?

Unter uns Menschen sind die intelligentesten Individuen nicht zwingend diejenigen, die am ethischsten handeln. Dementsprechend sollten wir nicht davon ausgehen, dass eine künstliche Intelligenz in unserem Sinn ethisch gute Werte haben wird, nur weil sie superintelligent ist.

Welche Schäden durch KI könnten die Ökonomie treffen?

Bei der "finanziellen Kriegführung" an den Börsen geschehen bereits heute völlig unerwartete Dinge. Ein konkretes Beispiel ist der "Flash-Crash" vom 6. Mai 2010: Viele Aktienindizes kollabierten plötzlich und erholten sich dann wieder rasant, der Dow Jones verlor zirka neun Prozent innerhalb von nur wenigen Minuten, manche Einzelaktien fluktuierten noch stärker. Die Weltwirtschaft und der Finanzhandel hängen heute bereits zum Teil von aktiven Computeralgorithmen ab, die ihre Entscheidungen im Millisekundenbereich treffen. Die Gewinne für die Börsenhändler, die die besten Algorithmen einsetzen, können groß sein. Wenn sich aber unerwartete Effekte zu einer Finanzkrise aufschaukeln, dann trägt den Schaden am Ende die Allgemeinheit: Die Transaktionen geschehen so schnell, dass Menschen nicht mehr eingreifen können, und die Verantwortlichkeit ist nicht mehr klar bestimmt. Den Schaden tragen am Ende die Weltwirtschaft und die Menschheit als Ganzes, und da besonders die schwächsten Teilnehmer.

Warum übertragen wir immer mehr Verantwortung auf Algorithmen?

Wenn intelligente Systeme in offenen Umwelten erfolgreich agieren sollen, dann werden wir in kleinen Schritten immer größere Teile unserer eigenen Autonomie an sie abgeben müssen. Jeder einzelne dieser Schritte mag uns rational erscheinen. Dadurch sinken aber auch die Transparenz und die Vorhersagbarkeit; technische Pannen können zu Kettenreaktionen führen, die für menschliche Benutzer erst viel zu spät erkennbar sind.

Aber liegt hier nicht ein ganz gewöhnlicher Fall von Dual Use vor: Jede Technologie kann zum Guten wie zum Schlechten dienen?

Erstens ist sehr vieles, was "gewöhnlich" ist, nicht damit schon in Ordnung. Eine Analogie: Die meisten von uns haben sich bereits längst an die Tatsache gewöhnt, dass 2016 das eine Prozent der reichsten Menschen über 50 Prozent des weltweiten Vermögens besitzen wird – die andere Hälfte verteilt sich dann wiederum sehr ungleich auf die restlichen 99 Prozent. Wir haben hier eine Zusammenballung wirtschaftlicher und politischer Macht und müssen uns fragen: Gibt es heute noch eine demokratisch gewählte Regierung auf der Welt, die es mit dieser Macht aufnehmen kann? Bei der KI sollten wir eine analoge Entwicklung verhindern, also eine nicht mehr rückgängig zu machende Konzentration kognitiver Kraft. Zweitens gibt es bei KI aber mehrere neue Qualitäten: KI-Technologie könnte irgendwann überhaupt nicht mehr "dienen", weil sie eben genau nur dann immer besser wird, wenn wir sie auch autonomer werden lassen. Außerdem könnte die KI – gerade weil sie ja eine "erkennende Technologie" ist – zu ganz anderen Einschätzungen darüber gelangen, was denn überhaupt "gut" und "schlecht" ist. Wenn sie das tut, könnte es für sie rational sein, diese Tatsache vor uns zu verbergen. Man muss verstehen, dass es hier nicht mehr nur um "Technologiefolgenabschätzung" und angewandte Ethik im klassischen Sinn geht. Die autonomer werdende KI und das Internet sind "Metatechnologien", weil fortgeschrittene KI letztlich selbst zur Erforschung und Entwicklung neuer Technologien verwendet werden kann. Wir gehen in unserem Diskussionspapier deshalb davon aus, dass KI diejenige Technologie ist, von der aktuell und mittelfristig die höchsten Risiken und Chancen ausgehen.

In Ihrem Diskussionspapier ist zu lesen, bis Ende dieses Jahrhunderts dürften KIs entwickelt sein, "deren Intelligenz sich zu der unseren so verhält wie die unsere zu derjenigen etwa der Schimpansen". In dem auf "Spektrum.de" publizierten Digital-Manifest urteilen neun andere Autoren, die Menschen würden den Weisungen einer superintelligenten Maschine mit "gottgleichem Wissen" womöglich ehrfürchtig Folge leisten. Sind unsere Politiker, sind wir alle so schlaftrunken, dass nüchterne Wissenschaftler Sciencefiction-Szenarien zeichnen müssen, um uns wachzurütteln?

Ich ganz persönlich bezweifle manchmal, dass das "Wachrütteln" überhaupt noch eine effektive Option ist. Der Oktober war mit 0,18 Grad Celsius Steigerung wieder ein absoluter Rekordmonat und 2015 wird erstmalig die Temperatur um mehr als ein Grad über dem vorindustriellen Niveau liegen – wir alle wissen das. Am Beispiel des Klimawandels sehen Sie ja, dass es schlicht und einfach nicht funktioniert: Die Information ist überall, sie springt uns seit vielen Jahren förmlich ins Gesicht, und gleichzeitig fahren erwachsene Leute mit Geländewagen zum Supermarkt, ohne sich zu schämen, und unsere eigene Regierung kann sich nicht einmal gegen die Kohlelobby durchsetzen. Ein rationaler und ethisch fundierter Umgang mit Zukunftsrisiken hängt aber nicht davon ab, wie groß die Erfolgschancen sind – man muss einfach tun, was richtig ist, und die historisch neue Situation so nüchtern und klar wie möglich einschätzen. Letztlich geht es dabei auch um Selbstachtung.

Wir gehen in unserem Diskussionspapier davon aus, dass KI diejenige Technologie ist, von denen aktuell und mittelfristig die höchsten Risiken und Chancen ausgehen.

Wie beurteilen Sie das Digital-Manifest als ein Philosoph, der sich in einer anderen Arbeitsgruppe selbst mit ähnlichen Themen auseinandersetzt?

Das Digital-Manifest mit den flankierenden Texten ist ein lobenswerter Beitrag zu der Debatte, die jetzt begonnen hat. Ich habe viel von den Autoren gelernt. Zum Beispiel hat Jeroen van den Hoeven sehr schön formuliert, dass "unsere Werte sich in den Dingen ausdrücken, die wir schaffen". Es ist richtig: Wir müssen uns vermehrt damit befassen, wie man ethische Prinzipien technologisch umsetzen kann. Das ist jedoch heute bereits in der autonomen Robotik ein wesentlich dringlicheres Problem, als vielen klar ist.

Können Sie ein Beispiel dafür geben?

Nehmen wir einmal an, drei selbstfahrende Google-Autos begegnen in einem Kreisel einem Schulbus und zwei normalen Autos mit menschlichen Fahrern. Plötzlich springt ein Reh auf die Fahrbahn, und die Google-Autos erkennen blitzschnell, dass es jetzt mehrere mögliche Kollisionsvarianten gibt, bei denen unterschiedliche Menschen verletzt werden oder gar sterben. Es wäre unvernünftig, die Menschen noch in den Entscheidungsprozess über den "bestmöglichen Unfall" einzubeziehen – die Reaktion muss ja blitzschnell erfolgen. Wir müssen also den Maschinen selbst das moralische Denken und das moralische Handeln beibringen, und wir wollen dabei, dass sie "unsere Werte ausdrücken". Ich denke, sie brauchen ein Wertesystem und einen Kalkül mit Transformationsregeln: Spielt das mögliche Leiden des Rehs auch eine Rolle in ihren Berechnungen? Haben junge und alte Fahrer – oder auch zahlende Passagiere im Google-Auto – wirklich denselben Wert, wenn es um die Minimierung des Schadens geht? Was genau sind überhaupt "unsere" Werte?

Darüber dürfte unter Menschen keine Einigkeit zu erzielen sein.

Und unter Philosophen schon gar nicht. Die praktische Frage ist eher, ob eine Gesellschaft sich angesichts dieser Situation auf einen normativen Minimalkonsens einigen könnte.

Was wäre das zum Beispiel?

Etwa: "Unfreiwilliges Leid sollte in allen leidensfähigen Wesen minimiert werden." Wenn künstliche Intelligenzen in offenen Umgebungen und sozialen Kontexten intelligent agieren sollen, dann brauchen sie nicht nur Autonomie, sondern eben auch moralische Kognition und die Fähigkeit ethisch zu handeln. Wie autonom dürfen sie dabei sein? Das ist ein zusätzlicher Aspekt: Wollen wir unseren fortgeschrittenen Technologien erlauben, auch einmal andere Werte auszudrücken als unsere eigenen?

Sowohl Ihre Denkschrift als auch das Digital-Manifest benennen erhebliche Gefahren für unsere Sozialsysteme, weil intelligente Technologien menschliche Arbeitskraft im großen Stil überflüssig machen dürften. Anders als die Manifestanten warnen Sie aber nicht vor Gefahren für Demokratie und Freiheit. Kommen Sie hier zu anderen Einschätzungen?

Absolut nicht. Ich fand es sehr verdienstvoll, dass die Autoren diesen Aspekt so stark betont haben. Dirk Helbing hat am Beispiel der chinesischen Gesellschaft klar gemacht, wohin die Reise gehen könnte, und Gerd Gigerenzer macht in seinem Kommentar sehr deutlich, dass wir schon unseren Kindern beibringen sollten, sich nicht von den Medien kontrollieren zu lassen, sondern autonom zu bleiben und eine bewusste "Risikokompetenz" zu entwickeln. Dazu gäbe es noch viel zu sagen.

Wollen Sie einen Aspekt besonders hervorheben?

Einer der wichtigsten Punkte im Digital-Manifest betrifft aus meiner Sicht die "Filter-Bubble" und den Resonanzeffekt. Die Autoren legen hier den Finger auf ein neues Risiko für das, was politische Philosophen manchmal als "soziale Bindekräfte" bezeichnen: Wenn der einzelne Mensch vom System immer nur solche Vorschläge unterbreitet bekommt, die "hinreichend kompatibel" mit seinen eigenen Wünschen und Ideen sind, dann kann eine Gesellschaft tatsächlich schleichend in isolierte Subsysteme zerfallen, die sich gegenseitig nicht mehr wirklich verstehen und auch nicht kompromissbereit sind. Man kann sich nun leicht vorstellen, dass solche Filtereffekte und der Aufbau von "intellektuellen Echokammern" nicht nur durch profitorientierte Unternehmen immer weiter fortentwickelt werden, die einfach nur ihre Kunden kontrollieren und ausbeuten wollen. Man kann sich auch denken, dass eine künstliche Intelligenz, die wir vielleicht sogar in einer immer komplexer werdenden globalen Krisensituation als Ultima Ratio zum rationalen Social Engineering einsetzen wollen, solche Resonanzeffekte eigenständig optimiert um – durchaus in unserem eigenen Interesse – nachhaltige Meinungsumschwünge auf gesamtgesellschaftlicher Ebene zu erzeugen. Könnten wir das angesichts existenzieller Risiken – denken wir wieder nur an den Klimawandel – vielleicht einmal selbst wollen, weil wir einfach keinen anderen Ausweg mehr sehen? Ich nenne diese Frage das Problem des "paternalistischen Flaschengeistes". Demokratietheoretisch und philosophisch wäre ein solches Szenario auf jeden Fall mehr als problematisch.

Wenn wir an die drohenden Folgen des Klimawandels oder auch die Ursachen der aktuellen Flüchtlingskrise denken: Da wir Menschen offenbar nicht in der Lage sind, uns hier zusammenzuraufen, klingt die Entwicklung einer hilfreichen KI, einem superintelligenten Mediator, doch nach einem erstrebenswerten Ziel – oder?

Dies ist ein brisanter Punkt. Menschen sind, wie wir alle wissen, nur sehr beschränkt rationale Wesen, weil die Evolution viele kognitive Verzerrungen in unser Selbstmodell eingebaut hat. In meinem Buch "Der Ego-Tunnel" habe ich darauf hingewiesen, dass es einen weiteren und historisch neuen Aspekt des Problems gibt, weil nämlich die Einbindung von Hunderten von Millionen menschlicher Gehirne und der in ihnen aktiven virtuellen Selbstmodelle in immer neue mediale Umwelten bereits deutliche Rückwirkungen auf unser eigenes Denken und die Struktur des bewussten Erlebens selbst hat. KIs hingegen können so konstruiert werden, dass sie keine kognitiven Verzerrungen aufweisen. Prinzipiell könnte also gesteigertes Vertrauen in die Prognosen von KIs, sofern diese sicher und nach nachvollziehbaren Kriterien aufgebaut sind, auch zu einer deutlichen Rationalitätssteigerung bei vielen gesellschaftlichen und politischen Herausforderungen führen.

Wollen wir unseren fortgeschrittenen Technologien erlauben, auch einmal andere Werte auszudrücken als unsere eigenen?

Wäre das nun Segen oder Fluch?

Es ist ein vielleicht emotional unangenehmer, aber klarer Punkt: Wenn wir uns darauf einigen könnten, was eine ethisch richtige Handlungsweise ist, dann könnten Maschinen uns bald dabei helfen, die konkreten Implikationen und die realen Konsequenzen unserer eigenen Werte wesentlich deutlicher zu sehen. Sie könnten auch darauf drängen, dass unsere eigenen Handlungen in Zukunft wesentlich besser zu unseren Werten und bereits vorhandenen Einsichten passen. Das Problem bestünde hier allerdings darin, die Stärken der KI zu nutzen, ohne menschliche Handlungsautonomie an die entsprechenden Systeme abzugeben. Was würden wir tun, wenn eine superintelligente KI, der wir in sozialethischer Hinsicht vertrauen, uns wiederholt den Vorschlag macht, in unserem eigenen Interesse noch etwas mehr Handlungsautonomie an sie selbst abzugeben?

Die Sorge überwiegt also. Dann werden wir zum Ende doch ganz konkret: Wer genau muss was genau verändern, damit drohende Gefahren durch die technologische Entwicklung abgewendet werden?

Zunächst weise ich noch einmal darauf hin, dass mit über 50 Prozent die Mehrheit der KI-Experten glaubt, dass bis 2090 superintelligente KIs entwickelt werden – falls sich keine globale Katastrophe ereignet, die den technologischen Fortschritt aufhält. Es gibt also eine signifikante Wahrscheinlichkeit, dass extrem intelligente KIs noch in diesem Jahrhundert geschaffen werden. Ein unkontrolliertes KI-Wettrüsten, bei dem jede Nation die erste sein will, wäre gefährlich und ist unbedingt zu verhindern. Von dieser Einschätzung ausgehend will ich Ihre Frage beantworten: Für die UNO und die Europäische Kommission ist wichtig, dass eine verstärkte internationale Kooperation dieser Dynamik entgegenwirken kann. Gelingt die internationale Koordination, dann lässt sich auch ein "Race to the Bottom" der Sicherheitsstandards zumindest prinzipiell verhindern. Weil ökonomische und militärische Anreize ein kompetitives Klima erzeugen, in dem es mit an Sicherheit grenzender Wahrscheinlichkeit zu einem gefährlichen Wettrüsten kommen wird, sollten diese ergänzt oder neutralisiert werden. Ein analoger Punkt gilt für die "synthetische Phänomenologie", also das Erzeugen von künstlichem Bewusstsein. Grundsätzlich sollten wir die ungewollte Erzeugung von künstlichen, leidensfähigen Subjekten auf jeden Fall vermeiden, solange wir nicht extrem gute Argumente für einen solchen Schritt haben und sehr genau wissen, was wir da überhaupt tun. Es wäre möglicherweise gut, wenn die UNO und auch die EU hier offiziell Position beziehen würden.

Was müsste die Bundesregierung machen?

Für nationale Regierungen und Wissenschaftsministerien ist wichtig, dass mehr Forschungsgelder für die KI-Sicherheitsforschung und gute theoretische Analysen eingesetzt werden und weniger Gelder für Projekte, die einzig auf Verbesserung der KI-Leistungsfähigkeit abzielen. Bei der Vergabe von Forschungsgeldern im KI-Bereich sollte gefordert werden, dass sicherheitsrelevante Aspekte der Forschungsprojekte ausgewiesen und entsprechende Vorkehrungen getroffen werden.

Plädieren Sie für ein Moratorium?

Nein, Erkenntnisfortschritt ist wichtig – wir alle profitieren seit Jahrzehnten von der modernen Informatik, zum Beispiel gerade auch die Kognitionswissenschaft und die Philosophie des Geistes. Ein Verbot jeder risikoreichen KI-Forschung halten meine Koautoren und ich weder für sinnvoll noch für praktikabel, weil es zu einer schnellen und gefährlichen Verlagerung der Forschung in Länder mit niedrigeren Sicherheitsstandards führen würde.

Ihr Diskussionspapier segelt unter der Flagge einer Stiftung für Effektiven Altruismus. Was hat es damit auf sich?

Die EA-Stiftung ist ein neuer Think-and-Do-Tank im Schnittbereich von Ethik und Wissenschaft. Der Begriff "Effektiver Altruismus" stammt ursprünglich aus der analytischen Philosophie und ist eine sich gerade weltweit ausbreitende soziale Bewegung. Effektive Altruisten sind häufig Leute, die denken, dass in vielen Fällen Rationalität sozusagen die tiefere Form von Mitgefühl sein kann – Menschen, die glauben, dass eine säkulare, wissenschaftlich fundierte Ethik letztlich wesentlich mehr Gutes in der Welt bewirken kann als religiös oder ideologisch motivierte Formen des moralischen Handelns. Für mich selbst ist Effektiver Altruismus keine fertige Theorie, sondern ein laufendes Forschungsprogramm.